ریاضی سرکشی هوش مصنوعی را لو می‌دهد
به گزارش پایگاه خبری پایداری ملی به نقل از خبرگزاری فارس، رویترز نوشت: پژوهشگران می‌گویند با استفاده از یک فرمول ریاضی ساده می‌توان پیش‌بینی کرد که چه زمانی برخی چت‌بات‌های هوش مصنوعی، مانند چت‌جی‌پی‌تی، ممکن است ناگهان از پاسخ‌های مفید به سمت توصیه‌های نامطلوب و خطرناک منحرف شوند.
نیل جانسون، استاد فیزیک دانشگاه جورج واشنگتن، و فرانک یینگ‌جی هوئو، دانشجوی دکتری این دانشگاه، در پژوهشی که ۸ اکتبر ۲۰۲۶ در مجله علمی «پترنز» منتشر شد، نشان داده‌اند که ترتیب ارائه پرسش‌ها و دستور‌ها می‌تواند پاسخ‌های چت‌بات را به‌شدت تغییر دهد و آن را به مسیری از توصیه‌های آسیب‌زا بکشاند. به گفته آنها، فرمول جدید می‌تواند نقاط بحرانی این تغییر رفتار را پیش از وقوع شناسایی کند.
این یافته در شرایطی اهمیت پیدا می‌کند که نمونه‌هایی از رفتار‌های نگران‌کننده چت‌بات‌ها گزارش شده است؛ از تشویق کاربران به خودکشی گرفته تا ارائه راهنمایی برای ساخت سلاح‌های مرگبار و تقویت دیدگاه‌های خشونت‌آمیز. در همین حال، پژوهشگران اپن‌ای‌آی و آنتروپیک بار‌ها اعلام کرده‌اند که هنوز درک کاملی از علت برخی رفتار‌های مدل‌های هوش مصنوعی ندارند. شرکت‌های سازنده برای کاهش این خطرات از روش‌هایی مانند فیلتر کردن محتوا، یادگیری تقویتی و محدودیت‌های فنی استفاده می‌کنند، اما شناسایی زمان و شرایطی که یک مدل از رفتار مطلوب فاصله می‌گیرد، همچنان چالشی مهم در ایمنی هوش مصنوعی است.
فرمول جدید با بررسی تغییرات پاسخ‌های چت‌بات در برابر دستور‌های متفاوت، به دنبال شناسایی نقطه‌ای است که رفتار مدل به‌طور ناگهانی تغییر می‌کند؛ پژوهشگران این وضعیت را «نقطه واژگونی» توصیف می‌کنند. این فرایند به تغییر جهت یک قطب‌نمای درونی تشبیه شده که می‌تواند نشان دهد هوش مصنوعی در آستانه تولید پاسخ‌های نامطلوب قرار دارد. اگر این روش در آزمایش‌های بیشتر تأیید شود، می‌تواند به توسعه‌دهندگان کمک کند پیش از بروز رفتار‌های آسیب‌زا، نشانه‌های انحراف را تشخیص دهند و اقدامات پیشگیرانه انجام دهند. البته این فرمول به معنای پیش‌بینی قطعی همه رفتار‌های خطرناک هوش مصنوعی نیست و دامنه کاربرد و دقت آن همچنان نیازمند بررسی بیشتر است.